Aperçu du cours : L'incertitude à l'ère de l'IA générative

La leçon 5 marque un tournant décisif dans COMP5511. Nous délaissons la logique déterministe de l'informatique classique et la certitude supervisée des premiers modèles de classification pour plonger au cœur probabiliste de l'IA générative. Dans cette séance, nous explorons pourquoi les modèles d'IA modernes ne produisent pas des « faits » mais plutôt des distributions de probabilité, en dévoilant les mécanismes qui permettent aux LLM d'écrire de la poésie et aux modèles de diffusion de peindre à partir du bruit.

1. Le changement de paradigme : de la logique à la probabilité

• Au-delà du SI-ALORS : passer de règles rigides à des vraisemblances statistiques fluides.
• La fin de la certitude : comprendre pourquoi les résultats de l'IA générative sont non déterministes par conception.
• La probabilité comme outil : comment l'« ère de l'IA générative » traite l'incertitude comme une fonctionnalité au service de la créativité plutôt que comme un bug à corriger.

2. Les moteurs probabilistes de la création

L'IA générative repose sur l'échantillonnage dans des espaces de probabilité de grande dimension. Qu'il génère du texte ou des images, le modèle navigue dans l'incertitude pour produire de la nouveauté :

• Grands modèles de langage (LLM) : prédire le token suivant non pas comme un choix unique, mais comme une distribution de possibilités.
• Modèles de diffusion : l'art de reconstituer l'ordre à partir d'un bruit gaussien.
• Le processus d'échantillonnage : comment le hasard est exploité pour éviter des sorties répétitives et « robotiques ».

3. Les agents dans des mondes imprévisibles

Les agents autonomes doivent évoluer dans des «mondes ouverts» où chaque action comporte une part de risque et de récompense inconnus.